To Be Multimodal or Not to Be: Query-Adaptive Audio-Visual Person Retrieval via Active Modality Detection
多模态还是单模态？查询自适应音视频人物检索的主动模态检测
🧭 多模态自适应融合 · 主动模态检测
University of Cambridge · Queen's University Belfast · University of Surrey · Cisco · Southwest Jiaotong University
通过跨模态得分一致性检测活跃模态，避免缺失模态噪声，检索精度显著提升
📌 工作参考价值（4 点）
- 多模态推荐中的缺失噪声抑制：当商品图片模糊或文本描述缺失时，可借鉴跨模态一致性检测，通过联合检索得分对齐度判断模态可用性，动态选择单模态或加权融合，避免固定融合引入噪声。
- 轻量级模态活跃度门控：训练一个分类器，输入两模态的检索得分分布、顺序统计量等特征，输出模态活跃概率，作为后续融合的软开关，可集成到现有推荐架构中，实现查询级自适应。
- 生成式推荐中的应用：在利用文本与图像生成商品描述时，可藉此判断输入模态的质量，引导生成过程忽略不可靠的模态信息，提高生成准确性。
- 架构迁移：该方法不依赖特定模态编码器，只需单模态检索分数即可构建跨模态特征，适合在已有检索流上快速部署，无需改动底层模型。